Workload-aware systems and interfaces for cognitive augmentation

In today's society, our cognition is constantly influenced by information intake, attention switching, and task interruptions. This increases the difficulty of a given task, adding to the existing workload and leading to compromised cognitive performances. The human body expresses the use of cognitive resources through physiological responses when confronted with a plethora of cognitive workload. This temporarily mobilizes additional resources to deal with the workload at the cost of accelerated mental exhaustion. We predict that recent developments in physiological sensing will increasingly create user interfaces that are aware of the user’s cognitive capacities, hence able to intervene when high or low states of cognitive workload are detected. In this thesis, we initially focus on determining opportune moments for cognitive assistance. Subsequently, we investigate suitable feedback modalities in a user-centric design process which are desirable for cognitive assistance. We present design requirements for how cognitive augmentation can be achieved using interfaces that sense cognitive workload. We then investigate different physiological sensing modalities to enable suitable real-time assessments of cognitive workload. We provide empirical evidence that the human brain is sensitive to fluctuations in cognitive resting states, hence making cognitive effort measurable. Firstly, we show that electroencephalography is a reliable modality to assess the mental workload generated during the user interface operation. Secondly, we use eye tracking to evaluate changes in eye movements and pupil dilation to quantify different workload states. The combination of machine learning and physiological sensing resulted in suitable real-time assessments of cognitive workload. The use of physiological sensing enables us to derive when cognitive augmentation is suitable. Based on our inquiries, we present applications that regulate cognitive workload in home and work settings. We deployed an assistive system in a field study to investigate the validity of our derived design requirements. Finding that workload is mitigated, we investigated how cognitive workload can be visualized to the user. We present an implementation of a biofeedback visualization that helps to improve the understanding of brain activity. A final study shows how cognitive workload measurements can be used to predict the efficiency of information intake through reading interfaces. Here, we conclude with use cases and applications which benefit from cognitive augmentation. This thesis investigates how assistive systems can be designed to implicitly sense and utilize cognitive workload for input and output. To do so, we measure cognitive workload in real-time by collecting behavioral and physiological data from users and analyze this data to support users through assistive systems that adapt their interface according to the currently measured workload. Our overall goal is to extend new and existing context-aware applications by the factor cognitive workload. We envision Workload-Aware Systems and Workload-Aware Interfaces as an extension in the context-aware paradigm. To this end, we conducted eight research inquiries during this thesis to investigate how to design and create workload-aware systems. Finally, we present our vision of future workload-aware systems and workload-aware interfaces. Due to the scarce availability of open physiological data sets, reference implementations, and methods, previous context-aware systems were limited in their ability to utilize cognitive workload for user interaction. Together with the collected data sets, we expect this thesis to pave the way for methodical and technical tools that integrate workload-awareness as a factor for context-aware systems.Tagtäglich werden unsere kognitiven Fähigkeiten durch die Verarbeitung von unzähligen Informationen in Anspruch genommen. Dies kann die Schwierigkeit einer Aufgabe durch mehr oder weniger Arbeitslast beeinflussen. Der menschliche Körper drückt die Nutzung kognitiver Ressourcen durch physiologische Reaktionen aus, wenn dieser mit kognitiver Arbeitsbelastung konfrontiert oder überfordert wird. Dadurch werden weitere Ressourcen mobilisiert, um die Arbeitsbelastung vorübergehend zu bewältigen. Wir prognostizieren, dass die derzeitige Entwicklung physiologischer Messverfahren kognitive Leistungsmessungen stets möglich machen wird, um die kognitive Arbeitslast des Nutzers jederzeit zu messen. Diese sind in der Lage, einzugreifen wenn eine zu hohe oder zu niedrige kognitive Belastung erkannt wird. Wir konzentrieren uns zunächst auf die Erkennung passender Momente für kognitive Unterstützung welche sich der gegenwärtigen kognitiven Arbeitslast bewusst sind. Anschließend untersuchen wir in einem nutzerzentrierten Designprozess geeignete Feedbackmechanismen, die zur kognitiven Assistenz beitragen. Wir präsentieren Designanforderungen, welche zeigen wie Schnittstellen eine kognitive Augmentierung durch die Messung kognitiver Arbeitslast erreichen können. Anschließend untersuchen wir verschiedene physiologische Messmodalitäten, welche Bewertungen der kognitiven Arbeitsbelastung in Realzeit ermöglichen. Zunächst validieren wir empirisch, dass das menschliche Gehirn auf kognitive Arbeitslast reagiert. Es zeigt sich, dass die Ableitung der kognitiven Arbeitsbelastung über Elektroenzephalographie eine geeignete Methode ist, um den kognitiven Anspruch neuartiger Assistenzsysteme zu evaluieren. Anschließend verwenden wir Eye-Tracking, um Veränderungen in den Augenbewegungen und dem Durchmesser der Pupille unter verschiedenen Intensitäten kognitiver Arbeitslast zu bewerten. Das Anwenden von maschinellem Lernen führt zu zuverlässigen Echtzeit-Bewertungen kognitiver Arbeitsbelastung. Auf der Grundlage der bisherigen Forschungsarbeiten stellen wir Anwendungen vor, welche die Kognition im häuslichen und beruflichen Umfeld unterstützen. Die physiologischen Messungen stellen fest, wann eine kognitive Augmentierung sich als günstig erweist. In einer Feldstudie setzen wir ein Assistenzsystem ein, um die erhobenen Designanforderungen zur Reduktion kognitiver Arbeitslast zu validieren. Unsere Ergebnisse zeigen, dass die Arbeitsbelastung durch den Einsatz von Assistenzsystemen reduziert wird. Im Anschluss untersuchen wir, wie kognitive Arbeitsbelastung visualisiert werden kann. Wir stellen eine Implementierung einer Biofeedback-Visualisierung vor, die das Nutzerverständnis zum Verlauf und zur Entstehung von kognitiver Arbeitslast unterstützt. Eine abschließende Studie zeigt, wie Messungen kognitiver Arbeitslast zur Vorhersage der aktuellen Leseeffizienz benutzt werden können. Wir schließen hierbei mit einer Reihe von Applikationen ab, welche sich kognitive Arbeitslast als Eingabe zunutze machen. Die vorliegende wissenschaftliche Arbeit befasst sich mit dem Design von Assistenzsystemen, welche die kognitive Arbeitslast der Nutzer implizit erfasst und diese bei der Durchführung alltäglicher Aufgaben unterstützt. Dabei werden physiologische Daten erfasst, um Rückschlüsse in Realzeit auf die derzeitige kognitive Arbeitsbelastung zu erlauben. Anschließend werden diese Daten analysiert, um dem Nutzer strategisch zu assistieren. Das Ziel dieser Arbeit ist die Erweiterung neuartiger und bestehender kontextbewusster Benutzerschnittstellen um den Faktor kognitive Arbeitslast. Daher werden in dieser Arbeit arbeitslastbewusste Systeme und arbeitslastbewusste Benutzerschnittstellen als eine zusätzliche Dimension innerhalb des Paradigmas kontextbewusster Systeme präsentiert. Wir stellen acht Forschungsstudien vor, um die Designanforderungen und die Implementierung von kognitiv arbeitslastbewussten Systemen zu untersuchen. Schließlich stellen wir unsere Vision von zukünftigen kognitiven arbeitslastbewussten Systemen und Benutzerschnittstellen vor. Durch die knappe Verfügbarkeit öffentlich zugänglicher Datensätze, Referenzimplementierungen, und Methoden, waren Kontextbewusste Systeme in der Auswertung kognitiver Arbeitslast bezüglich der Nutzerinteraktion limitiert. Ergänzt durch die in dieser Arbeit gesammelten Datensätze erwarten wir, dass diese Arbeit den Weg für methodische und technische Werkzeuge ebnet, welche kognitive Arbeitslast als Faktor in das Kontextbewusstsein von Computersystemen integriert

Smart Kitchens for People with Cognitive Impairments: A Qualitative Study of Design Requirements

Individuals with cognitive impairments currently leverage extensive human resources during their transitions from assisted living to independent living. In Western Europe, many government-supported volunteer organizations provide sheltered living facilities; supervised environments in which people with cognitive impairments collaboratively learn daily living skills. In this paper, we describe communal cooking practices in sheltered living facilities and identify opportunities for supporting these with interactive technology to reduce volunteer workload. We conducted two contextual observations of twelve people with cognitive impairments cooking in sheltered living facilities and supplemented this data through interviews with four employees and volunteers who supervise them. Through thematic analysis, we identified four themes to inform design requirements for communal cooking activities: Work organization, community, supervision, and practicalities. Based on these, we present five design implications for assistive systems in kitchens for people with cognitive deficiencies

Towards Universal Interaction for Extended Reality

Extended Reality (XR) is a rapidly growing field offering unique immersive experiences, social networking, learning, and collaboration opportunities. The continuous advancements in XR technology and industry efforts are gradually moving this technology toward end consumers. However, a universal one-size-fits-all solution for seamless XR interaction still needs to be discovered. Currently, we face a diverse landscape of interaction modalities that depend on the environment, user preferences, task, and device capabilities. Commercially available input methods like handheld controllers, hand gestures, voice commands, and combinations of those need universal flexibility and expressiveness. Additionally, hybrid user interfaces, such as smartwatches and smartphones as ubiquitous input and output devices, expand this interaction design space. In this position paper, we discuss the idea of a universal interaction concept for XR. We present challenges and opportunities for implementing hybrid user interfaces, emphasizing Environment, Task, and User. We explore the potential to enhance user experiences, interaction capabilities, and the development of seamless and efficient XR interaction methods. We examine challenges and aim to stimulate a discussion on the design of generic, universal interfaces for XR

Development of an audio input toolkit for multiple sources

Audio services, like voice over IP or several voice recognition systems, are developing very fast and since they are easy to use nearly everybody is linked to such systems. In this thesis about the processing of multiple audio inputs, an audio toolkit for processing multiple audio inputs has to be developed. Used audio input devices are bluetooth headsets, which can send audio via UDP to the audio toolkit. This audio toolkit is able to process these multiple audio inputs and determines a dominant signal. The dominant signal is a signal from a specific client with an audio input device. The focus of the audio toolkit is to suppress every other signal than the dominant signal. The dominant signal can then be transferred to a voice over IP service, like Skype, or to a voice recognition system, like the Microsoft Speech API. This thesis gives a general overview how audio processing works, the development of algorithms which determine the dominant signal and the development process.Audio Dienste, wie voice over IP oder Spracherekennungsdienste, haben sich in den letzten Jahrzehnten stark weiterentwickelt. Diese rasante Weiterentwicklung ist einer immer einfacheren Benutzung dieser Dienste zuzuschreiben. In dieser Thesis über das verarbeiten mehrerer eingehender Audiosignale, soll ein Audio Toolkit entwickelt werden, dass diese eingehenden Audiosignale verarbeitet. Als Eingabegeräte werden Bluetooth Headsets verwendet, welche die Audiosignale über das UDP Protokoll an ein Audio Toolkit übertragen. Das Audio-Toolkit ermittelt aus allen eingehenden Signalen ein dominantes Signal, welches als einziges hörbar sein soll. Ziel dieser Bachelorarbeit ist die Entwicklung des beschriebenen Audio Toolkits. Das dominante Signal kann an einen voice over IP Dienstleister wie beispielsweise Skype oder an eine Sprachererkennungssoftware, wie beispielsweise die Microsoft Speech API, übertragen werden. Darüber hinaus gibt diese Thesis einen Überblick über die Funktionsweise der Soundverarbeitung, Entwicklung geeigneter Algorithmen und dem Entwicklungsprozess

Real-time brain mapping for treating substance abuse using neurofeedback

Physiological sensors attached to a body become more and more integrated into the daily routine of everyone's life. Since physiological sensors become cheaper and more compact, analyzing the state of the body is possible for everyone. Biofeedback describes a practice, that uses physiological sensors to expose the measurements in a visualized manner to the user. This feedback can be used to train mind and body to reach or avoid certain states. A subcategory of biofeedback is neurofeedback, which concerns with brain activity measurements. Brain activity is made available to a corresponding person, so that the person is able to train its brain towards a desired state. A lot of data is produced, which is hard to interpret manually in real-time. Finding patterns to detect neuropsychiatric diseases like Alzheimer, Parkinson or drug addiction requires an extensive analysis of the collected data. This thesis explains what bio- and neurofeedback is and provides an extensive analysis of related research, including a brief introduction about bioelectromagnetism and drug addiction. Furthermore, the effects of drug addiction on the brain will be explained. A big amount of data is generated by the brain activity measurement process. Suitable visualization modalities for interpretation are therefore required. This thesis also presents visualizations of the measured brain activity in real-time to make the data instantly available to a person interested in interpretation. Rather than just visualizing the electrical activity at certain spots, this thesis also proposes a visualization which makes the original electrical source visible which is responsible for the current measurements. This is useful when a person is interested for the reason of electrical activity at certain measurement spots. Neuropsychiatric diseases, especially drug addiction or Alzheimer, can be recognized and treated better. This thesis also explains the used and developed visualization algorithms. The technical realization is explained in detail which includes the implementation of a brain-computer interface, the utilization of an electrode placement system and the verification of the correctness of the implemented algorithms using neuromore Studio as base platform. On top of that, a neurofeedback session for treating drug addiction is performed to evaluate the usefulness of the developed visualizations. Eight participants took part in the study, which showed that the implemented algorithms can be used to interpret the impact of defined situations on the brain. Significant visual changes in brain activation could be found throughout most participants.Am Körper angebrachte physiologische Sensoren integrieren sich immer mehr in den Alltag der Menschen. Begünstigt wird dieser Prozess durch günstiger und kompakt werdender physiologischer Sensoren, die jedem die Analyse des körperlichen Zustands ermöglichen. Biofeedback beschreibt das Benutzen von physiologischen Sensoren, um die gemessenen Werte mit Hilfe einer Visualisierung dem Benutzer zur Verfügung zu stellen. Dieses Feedback kann benutzt werden um bestimmte körperliche Zustände durch Training zu erreichen oder zu vermeiden. Eine Unterkategorie von Biofeedback ist Neurofeedback, welches sich mit dem Messen der Gehirnaktivität beschäftigt. Diese Gehirnaktivitäten werden einer korrespondierenden Person zur Verfügung gestellt, so dass die Person das Gehirn für einen bestimmten Zustand trainieren kann. Eine grosse Menge an Daten wird produziert, was es unmöglich macht diese in Realzeit zu interpretieren. Eine genaue Analyse der gesammelten Daten ist notwendig um neuropsychatrische Krankheiten wie Alzheimer, Parkinson und Drogenabhängigkeit zu diagnostizieren. Diese Arbeit erklärt was Bio- und Neurofeedback ist und bietet eine Literaturrecherche inklusive einer kurzen Einführung in das Themengebiet Bioelektromagnetismus und Drogenabhängigkeit. Ferner wird erklärt wie sich Drogenabhängigkeit auf das Gehirn auswirkt. Aufgrund der grossen Menge an generierten Daten durch das Messen der Gehirnaktivitäten werden geeignete Visualisierungsmodalitäten für die Interpretation notwendig. Diese Arbeit präsentiert Visualisierungen für die gemessenen Gehirnaktivitäten, welche sofort und in Realzeit einer Person zur Verfügung gestellt werden kann. Anstatt nur die Aktivität an bestimmten Messstellen zu visualisieren, bietet diese Arbeit auch eine Visualisierung um den Ursprung elektrischer gemessener Aktivität zu finden, welche für die Messung verantwortlich ist. Dies ist nützlich, wenn eine Person für den Grund einer elektrischen Aktivierung an bestimmten Stellen interessiert ist. Neuropsychiatrische Krankheiten, speziell Drogenabhängigkeit und Alzheimer, können erkannt und effizienter behandelt werden. Diese Arbeit erklärt die benutzten und entwickelten Algorithmen bezüglich der Umsetzung der Visualisierungen. Die technische Umsetzung wird detailliert aufgeführt, welche die Implementierung einer Gehirn-Computer Schnittstelle, die Definition eines Algorithmus zur Platzierung von Elektroden und einer Verifikation für die Korrektheit der implementierten Algorithmen beinhaltet, bei der neuromore Studio als Basisplattform benutzt wird. Eine Neurofeedback Sitzung zur Behandlung von drogenabhängigen Menschen wird vorgeschlagen um die Nützlichkeit der Visualisierungen zu zeigen. Acht Personen nahmen an der Studie teil, welche zeigt, dass die Algorithmen für die Interpretation von Gehirnaktivitäten benutzt werden können. Signifikante visuelle Unterschiede bezüglich der neuronalen Aktivierung konnten bei den meisten Teilnehmern festgestellt werden

"AI enhances our performance, I have no doubt this one will do the same": The Placebo effect is robust to negative descriptions of AI

Heightened AI expectations facilitate performance in human-AI interactions through placebo effects. While lowering expectations to control for placebo effects is advisable, overly negative expectations could induce nocebo effects. In a letter discrimination task, we informed participants that an AI would either increase or decrease their performance by adapting the interface, but in reality, no AI was present in any condition. A Bayesian analysis showed that participants had high expectations and performed descriptively better irrespective of the AI description when a sham-AI was present. Using cognitive modeling, we could trace this advantage back to participants gathering more information. A replication study verified that negative AI descriptions do not alter expectations, suggesting that performance expectations with AI are biased and robust to negative verbal descriptions. We discuss the impact of user expectations on AI interactions and evaluation and provide a behavioral placebo marker for human-AI interactio

TicTacToes: Assessing Toe Movements as an Input Modality

From carrying grocery bags to holding onto handles on the bus, there are a variety of situations where one or both hands are busy, hindering the vision of ubiquitous interaction with technology. Voice commands, as a popular hands-free alternative, struggle with ambient noise and privacy issues. As an alternative approach, research explored movements of various body parts (e.g., head, arms) as input modalities, with foot-based techniques proving particularly suitable for hands-free interaction. Whereas previous research only considered the movement of the foot as a whole, in this work, we argue that our toes offer further degrees of freedom that can be leveraged for interaction. To explore the viability of toe-based interaction, we contribute the results of a controlled experiment with 18 participants assessing the impact of five factors on the accuracy, efficiency and user experience of such interfaces. Based on the findings, we provide design recommendations for future toe-based interfaces.Comment: To appear in Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (CHI 23), April 23-28, 2023, Hamburg, Germany. ACM, New York, NY, USA, 17 page

Literature Reviews in HCI: A Review of Reviews

This paper analyses Human-Computer Interaction (HCI) literature reviews to provide a clear conceptual basis for authors, reviewers, and readers. HCI is multidisciplinary and various types of literature reviews exist, from systematic to critical reviews in the style of essays. Yet, there is insufficient consensus of what to expect of literature reviews in HCI. Thus, a shared understanding of literature reviews and clear terminology is needed to plan, evaluate, and use literature reviews, and to further improve review methodology. We analysed 189 literature reviews published at all SIGCHI conferences and ACM Transactions on Computer-Human Interaction (TOCHI) up until August 2022. We report on the main dimensions of variation: (i) contribution types and topics; and (ii) structure and methodologies applied. We identify gaps and trends to inform future meta work in HCI and provide a starting point on how to move towards a more comprehensive terminology system of literature reviews in HCI

The future of Swiss hydropower : how to distribute the risk and the profits?

Low electricity prices put economic pressure on hydropower companies. A more flexible water fee design can counteract this pressure and support hydropower companies during times when market revenues are low. However, this comes at the cost of lower revenues for resource owners. Using a sample of cost data for 62 companies and revenue data derived from an electricity market model, we have quantified this trade-off for the case of Switzerland. We found that electricity market price developments dominate changes in water fees and that for the profitability of hydropower, electricity prices are more important than water fee levels. However, with electricity prices of around CHF 40 per MWh, water fees can make the difference between profit and loss. Therefore, while flexible water fee regimes shift the market risk from producers to resource owners to some extent, the extent of this risk shift depends on the detailed design of the flexible regime